开源Java作业调度器：远程处理、负载平衡、故障切换、依赖DAG？

1 周，1 日 Questions & Answers 1126

我正在寻找一个开源的Java作业调度器，它允许发送不同类型的作业（不仅仅是flop密集型作业），并将它们分布在多台机器上。它还应该监控作业，并在任何作业失败或从节点崩溃时在不同的节点上重试。我也希望负载平衡类似于OpenMP或MPI。理想情况下，您应该能够传入一个作业依赖关系图，作业将以拓扑有序的方式进行处理，并在可能的情况下进行并行化

据我所知，与此最匹配的是Quartz，但它只允许按时间安排单个作业，没有远程处理、故障切换、负载平衡和依赖处理功能